What Makes Good Agentic Data? An ACE Lens on Data Generation for LLM Agents
什么是好的智能体数据？用 ACE 视角看 LLM 智能体数据生成
🧭 LLM Agent 训练数据生成
Huawei Technologies Co., Ltd · Shanghai Jiao Tong University · Northwestern University · Harbin Institute of Technology, Shenzhen · Shenzhen Loop Area Institute
提出 ACE 框架（准确性-复杂度-多样性）统一评估和设计 LLM 智能体的交互数据生成
📌 工作参考价值（4 点）
- 构建电商/搜索 Agent 训练数据时，可直接用 ACE 框架做数据质检：Accuracy 确保任务信号与环境反馈一致，Complexity 根据目标模型能力分配难度，Diversity 覆盖不同用户意图、商品类目和交互路径，避免只堆数据量。
- 将交互数据统一表示为 (E,q,τ,v) 四元组（环境、任务、交互轨迹、验证器），便于多源数据融合、版本管理和过滤，适合电商场景中模拟用户对话、搜索行为、工具调用等混合数据。
- 优先采用执行锚定的数据生成：让 Agent 实际调用工具并记录真实结果或环境反馈，而不是只生成最终答案，防止模型学到“看似合理但无法执行”的交互模式。
- 多样性不要只做表面改写（换词、换句式），要扩展行为覆盖：增加异常处理、多轮协商、不同查询路径等，这对电商 Agent 应对长尾场景尤其重要。